HarmonyOS-鸿蒙app开发 —基于javaAI文字图像超分开发指导

HarmonyOS-鸿蒙app开发 —基于javaAI文字图像超分开发指导

场景介绍

  • 拍照效果增强:增加拍摄内容里文字的清晰度。
  • 文字档案翻拍:翻拍字迹模糊的文字档案,提升文字的可识别度。

接口说明

文字图像超分提供了setVisionConfiguration()和doSuperResolution()两个函数接口。

  • setVisionConfiguration是ITxtImageSuperResolution接口的成员,通过传入的TxtImageSuperResolutionConfiguration,选择进程调用模式。

void setVisionConfiguration(TxtImageSuperResolutionConfiguration configuration);

  • 下表列出了TxtImageSuperResolutionConfiguration的常用设置:

    接口

    参数名

    类型

    参数说明

    setProcessMode()

    mode

    int

    进程模式定义:

    VisionConfiguration.MODE_IN(同进程调用)

    VisionConfiguration.MODE_OUT(跨进程调用)

    默认值为VisionConfiguration.MODE_OUT。

  • 调用ITxtImageSuperResolution的doSuperResolution()方法,获取文字图像超分辨率后的图片结果。

int doSuperResolution(VisionImage image, ImageResult result, VisionCallback<ImageResult> visionCallback);

  • 其中:

    • image为待超分的输入图片。
    • 如果visionCallback为null,执行同步调用,结果码由方法返回,检测及识别结果由result返回。
    • 如果visionCallback为有效的回调函数,则该函数为异步调用,函数返回时result中的值无效,实际识别结果由回调函数返回。
    • 同步模式调用成功时,该函数返回结果码0。异步模式调用请求发送成功时,该函数返回结果码700。

开发步骤

  1. 在使用文字图像超分辨率时,将实现文字图像超分的相关的类添加至工程。

import ohos.ai.cv.common.ConnectionCallback;
import ohos.ai.cv.common.ImageResult;
import ohos.ai.cv.common.VisionCallback;
import ohos.ai.cv.common.VisionConfiguration;
import ohos.ai.cv.common.VisionImage;
import ohos.ai.cv.common.VisionManager;
import ohos.ai.cv.sr.ITxtImageSuperResolution;
import ohos.ai.cv.sr.TxtImageSuperResolutionConfiguration;
import ohos.app.Context;
import ohos.media.image.PixelMap;

定义ConnectionCallback回调,实现连接能力引擎成功与否后的操作。

ConnectionCallback connectionCallback = new ConnectionCallback() {
@Override
public void onServiceConnect() {
// 定义连接能力引擎成功后的操作。
}

@Override
public void onServiceDisconnect() {
// 定义连接能力引擎失败后的操作。
}
};

调用VisionManager.init()方法,将此工程的context和已经定义的connectionCallback作为入参,建立与能力引擎的连接。context应为ohos.aafwk.ability.Ability或ohos.aafwk.ability.AbilitySlice的实例或子类实例。

int result = VisionManager.init(context, connectionCallback);

在收到onServiceConnect回调连接服务成功后,实例化ITxtImageSuperResolution接口,将此工程的context作为入参,context应为ohos.aafwk.ability.Ability或ohos.aafwk.ability.AbilitySlice的实例或子类实例。

ITxtImageSuperResolution txtImageSuperResolution = VisionManager.getTisr(context);

实例化VisionImage对象image,并传入待超分图片pixelMap。

VisionImage image = VisionImage.fromPixelMap(pixelMap);

实例化ImageResult对象imageResult,该类在同步模式下用于存放调用txtImageSuperResolution.doSuperResolution()方法的超分结果。

ImageResult imageResult = new ImageResult();

(可选) 定义VisionCallback< ImageResult >回调。

VisionCallback<ImageResult> callback= new VisionCallback<ImageResult>() {
@Override
public void onResult(ImageResult imageResult) {
// 对正确获得的结果进行处理。
}
@Override
public void onError(int i) {
// 处理错误返回码。
}
@Override
public void onProcessing(float v) {
// 返回处理进度。
}
};

说明

在异步模式下,该类的onResult()方法用于获得文字超分结果ImageResult;onError()方法用于处理错误返回码;onProcessing()方法用于返回处理进度,目前没有实现此接口的功能。

同步与异步模式区别在于doSuperResolution()的最后一个参数VisionCallback<ImageResult>是否为空。若非空则为异步模式,此时会忽略自定义的ImageResult输入(效果与传入null相同),接口调用结果一律从VisionCallback<ImageResult>获得,自定义的ImageResult输入不做更新。

  • 跨进程模式(MODE_OUT)下调用方与能力引擎处于不同进程;
  • 同进程模式(MODE_IN)下,能力引擎在调用方进程中实例化,调用方通过反射的方式调用引擎里的文字图像超分能力。
以同进程调用为例:
TxtImageSuperResolutionConfiguration.Builder builder = new TxtImageSuperResolutionConfiguration.Builder();
builder.setProcessMode(VisionConfiguration.MODE_IN);
TxtImageSuperResolutionConfiguration paras = builder.build();
txtImageSuperResolution.setVisionConfiguration(paras);
(可选)调用ITxtImageSuperResolution的prepare()方法启动引擎。

10的doSuperResolution()方法中会首先调用prepare()启动引擎,如果引擎已经启动则不会再次启动。因此本步骤为可选步骤。

result = txtImageSuperResolution.prepare();

说明

如果返回的result不为0,说明当前超分能力准备失败,需要处理错误,不再执行之后的动作。

result = txtImageSuperResolution.doSuperResolution(image, imageResult, null); // 同步
或者
result = txtImageSuperResolution.doSuperResolution(image, null, visionCallback); // 异步
说明
  1. 同步模式调用完成时,该函数立即返回结果码;
  2. 异步模式调用请求发送成功时,该函数返回结果码700。如果返回其他的值,说明异步调用请求不成功,需要先处理错误,回调函数不会被调用。
  3. 如果异步模式调用请求发送成功,则文字超分完成后,相应的回调函数会被自动调用。
    • 如果onResult()回调被调用,说明超分成功,相当于同步模式结果码为0的情况。
    • 如果onError()方法被调用,则说明文字超分发生了错误,具体的调用结果码将由onError()的参数接收。

结果码定义如下表:

结果码

说明

0

成功

-1

未知错误

-2

不支持的功能或接口

-3

内存分配失败或创建对象失败

-4

所需库加载失败

-10

引擎开关已经关闭

101

失败

102

超时

200

输入参数不合法(图片尺寸错误)

201

输入参数不合法(为空)

210

输入参数合法

500

服务绑定异常

521

服务绑定异常断开

522

服务已连接

600

模型文件异常

601

模型文件不存在

602

模型加载失败

700

异步调用请求发送成功

1001

神经网络处理单元错误

调用ITxtImageSuperResolution的release()方法,释放资源。调用pixelMap的release()方法,释放图片内存。

txtImageSuperResolution.release();
if (pixelMap != null) {
pixelMap.release();
pixelMap = null;
}

说明

不再使用文字图像超分能力时,调用release()方法释放资源。

VisionManager.destroy();

0 0 投票数
文章评分
订阅评论
提醒
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x